跳到主要内容

指令数据构造

SFT 章节里我们说过一句话:"数据质量比数量重要"。这一章把这句话展开——具体怎么造出高质量的 SFT 数据。这是微调里最费心的一环,也是最能拉开差距的地方。同样一个基座,一个团队做出来体验一流,另一个做出来平平——差距通常不在算法,而在数据。

1. 好的 SFT 数据长什么样​

先明确目标。一个好的 SFT 数据集应该满足几件事:

格式一致。所有样本遵循同一个对话模板(chat template),system/user/assistant 边界清晰。

回答质量高。每条 assistant 的回答都是"你希望模型将来生成成这样"——语气、结构、长度、深度都合适。不好的样本比缺少样本更糟糕——因为模型会学到它。

任务多样。覆盖你的实际使用场景:问答、总结、翻译、写作、推理、代码。别只有单一任务。

长度分布合理。回答长度不能都是短句,也不能都是长文。长度多样性让模型能根据问题灵活调整回答长度。

难度分布合理。既要有简单问题(帮助模型学基本对话模式),也要有难题(让模型学会推理和展开)。

没有明显的模板痕迹。所有回答都以"当然可以!以下是..."开头,或者都以"希望能帮到您!"结尾——这种模板化会被模型放大,最后每个回答都长这样。

2. 数据从哪来:五条路径​

按来源分,SFT 数据大致有五种:

2.1 人工手写​

最贵、最慢,但质量最高。GPT、Claude 早期的 SFT 数据大部分是人写的。一条大概 0.5−0.5-3。

适合:数据量小(< 5000 条)、需要极高质量的关键任务;数据敏感(无法用外部模型生成);有专业领域,只能靠专家写。

核心难点:标注员素质决定模型上限。你雇到什么水平的标注员,模型输出就是什么水平。所以顶尖公司会为标注员开高薪招 PhD、语言学家、垂直领域专家。

2.2 从更强的模型蒸馏​

这是开源社区最常见的做法。用 GPT-4、Claude 生成 SFT 数据,然后拿来训自己的小模型。Alpaca、Vicuna、WizardLM 全是这条路。

一个典型流程:

  1. 准备一批 prompt(种子问题、用户日志、benchmark 样例);
  2. 用 GPT-4 生成回答;
  3. (可选)用 GPT-4 或其他强模型做一遍质量过滤;
  4. 训自己的模型。

优点:快、便宜(相对于人工)、质量还不错。

缺点:

  • 风格被源模型带偏:训出来的模型会有明显的 GPT-4 味道——"总是先感谢用户"、"总是分点回答"、"总是加免责声明";
  • 源模型的错误会被继承:GPT-4 也会犯错,你蒸馏的数据里带着错,你的模型就学错;
  • 有 license 问题:OpenAI 明确禁止用它的输出训竞品。开源社区实操上一直在用,但商业化时是雷区。

2.3 从真实用户对话提取​

你已经有一个上线的 chatbot(哪怕是 ChatGPT wrapper),有真实用户对话日志——这是金矿。因为它反映了真实用户的分布,训出来的模型对真实用户体验最好。

一个典型流程:

  1. 从日志里采样对话;
  2. 过滤:去掉恶意/无意义/隐私敏感的;
  3. 打标签或者用规则筛选出"回答质量高"的对话;
  4. 转成 SFT 格式。

注意事项:

  • 匿名化:用户 ID、邮箱、电话、地址必须清掉;
  • 合规:用户协议里必须允许"对话数据用于模型改进";
  • 抽样偏差:日志里高频问题多,长尾少——直接用会让模型偏向高频。要有意识地增采样低频问题。

2.4 规则合成​

某些任务可以直接用规则批量造数据。适合"输入-输出关系明确"的任务:

  • 翻译:找一个双语对齐语料,直接用作训练;
  • 代码补全:从 GitHub 抓代码,随机切 middle 位置,前面当 prompt、后面当 completion;
  • 数学:写模板生成算术题,用符号计算器算出答案;
  • JSON 转换:用规则生成"文本 → JSON"对。

优点:便宜、大量、100% 正确。

缺点:多样性差。模板生成的数据看起来千篇一律,模型只能学会模板范围内的问题。

通常和别的路径结合用——规则数据作为"补丁",专门补某个能力短板。

2.5 合成数据 / Self-Instruct​

Self-Instruct 是 2022 的一个想法:让模型自己生成 SFT 数据。

流程:

  1. 手工准备几百条种子任务(各种类型);
  2. 让 LLM(比如 GPT-4)参考种子生成"类似但新的任务描述";
  3. 让 LLM 生成每个任务的回答;
  4. 过滤(去重、去低质量);
  5. 得到几万条合成数据。

Alpaca(Stanford,2023)用 175 条种子 + GPT-3.5 生成了 52k 条数据,训了 LLaMA-7B,效果居然接近 GPT-3.5。这是"合成数据能极大放大高质量种子"的开山之作。

2.6 Evol-Instruct:让数据变难变多样​

Self-Instruct 的问题是难度均匀——合成出来的任务都是"平均难度"。WizardLM 提出 Evol-Instruct:主动让数据变难、变多样。

给定一个 prompt,用 LLM 应用几种"进化"操作生成新 prompt:

  • 加约束:原 prompt "写一首诗" → 新 prompt "写一首必须包含'月亮'和'思乡'的五言绝句";
  • 深化:原 prompt "介绍 Python" → 新 prompt "从内存管理和 GIL 角度深入分析 Python 的并发模型";
  • 复杂化:原 prompt "翻译这句话" → 新 prompt "把这句话翻译成正式的商务英语,并说明翻译理由";
  • 换角度:原 prompt "解释算法 X" → 新 prompt "如果你是面试官,你会怎么让候选人解释算法 X"。

Evol-Instruct 生成的数据比 Self-Instruct 更难、更多样,训出来的模型明显更强。现代开源 SFT 数据集基本都用类似手段。

3. 质量过滤:让好数据留下​

不管数据来自哪里,都需要过滤——去掉低质量的样本。

基础过滤:

  • 长度过滤:太短(< 10 tokens)或太长(> 4096 tokens)的样本裁掉;
  • 格式检查:assistant 回答必须非空、必须能被 tokenize;
  • 重复检查:完全一样的样本去掉;
  • 语言检查:如果不是多语言模型,非目标语言的样本去掉。

内容过滤:

  • 敏感内容:过滤色情、暴力、恶意 prompt;
  • PII 检查:过滤含真实姓名、电话、邮箱、身份证号的样本;
  • 拒答检查:过滤"我不能回答这个问题"这种废回答——除非你就是想训模型拒答。

质量过滤:这是最难的一环,因为"什么是好回答"没有客观标准。常用方法:

  • LLM 打分:用另一个 LLM(GPT-4)给每条样本打 1-10 分,只留高分的;
  • 困惑度(PPL)过滤:用一个参考模型算 PPL,太高(模型完全没见过的分布)或太低(模型已经会的)的都可能有问题;
  • 多样性去重:MinHash / Embedding 相似度去重,不留特别相似的多条样本。

LIMA(Meta,2023) 论文的结论最惊人:1000 条精挑细选的样本训出的模型,效果接近几万条粗糙样本。这就是"质量 >> 数量"的极端例证。

4. 混合比例:多任务的调节​

现代 SFT 数据集通常是多个子数据集的混合。比例怎么定?

领域比例:如果你要一个"通用助手",各个领域大致均衡(问答、写作、推理、代码、数学、闲聊)。如果你要"代码助手",代码占 40-60%,其他 40-60%(保持通用能力)。

难度比例:easy/medium/hard 大致 3:4:3 或者 2:5:3。全是简单样本模型学不到深度,全是难样本模型基础都没打稳。

长度比例:短回答(< 200 token)、中回答(200-800)、长回答(> 800)大致均衡。看你的目标场景。

多语言比例:中英模型的话中英 5:5 或者 6:4,加上一点其他语言做防退化。

这些比例没有标准答案——你需要用不同的比例实验、看下游任务的表现来调。SFT 阶段的 A/B testing 是必不可少的。

5. 多轮对话的构造​

上面讲的主要是"单轮 QA"数据。真实场景很多是多轮对话。

多轮数据长这样:

user: 什么是熵?
assistant: 熵是热力学中衡量系统无序程度的物理量……

user: 那信息熵和它有关系吗?
assistant: 有的,香农借用了这个概念,把信息熵定义为……

user: 举一个例子?
assistant: 比如抛硬币……

多轮数据的核心难点:

  • 前后一致性:模型的第二轮回答不能和第一轮矛盾;
  • 上下文引用:能理解"那"、"它"这类指代;
  • 递进关系:能感知到用户在深入某个话题,而不是切换话题。

造多轮数据的方法:

  • 人工造:一个人扮演 user、另一个扮演 assistant,或者一个人扮两边;
  • LLM 双 agent:一个 LLM 扮 user 提问、一个 LLM 扮 assistant 回答,跑几轮生成对话;
  • 从真实日志抽取:真实用户的多轮对话,过滤后直接用。

loss 计算:多轮数据的所有 assistant 回答都应该算 loss(每一轮都是训练信号),不是只算最后一轮。新的框架(LLaMA-Factory、TRL)默认这么做。

6. 数据集本身的评估​

你造完了 5 万条数据,怎么判断它好不好?除了训一遍看效果,也可以直接审数据:

抽样人工审阅。永远要抽样看。从 5 万条随机抽 100 条,人工看每条的质量。如果 100 条里有 10 条有问题,你的数据集就是 10% 的噪声——效果肯定打折。

长度分布可视化。plot user 长度、assistant 长度的直方图。如果 90% 都是 100-200 token 的短回答,训出来的模型也就会写短回答。

任务类型分布。用一个 LLM 给每条数据打个"任务类别"标签,看分布。是否有明显失衡。

关键词云 / 主题聚类。看看数据覆盖了哪些话题。是不是全在讨论"编程语言"或者"编程语言 + 生活琐事",其他领域没有。

用小模型试训。花几十美元训一个 LoRA 版本,看效果如何、看下游任务分数。如果小模型就明显不好,大模型也救不回来。

7. 一些实际的 SFT 数据集参考​

主流开源 SFT 数据集:

  • Alpaca(Stanford, 52k):Self-Instruct 造出来的,历史意义 > 现在的实用价值;
  • WizardLM(微软,250k+):Evol-Instruct 造的,质量比 Alpaca 好一档;
  • UltraChat(清华,1.5M):LLM 双 agent 生成的多轮对话;
  • OpenHermes 2.5(1M+):多源混合,质量高,开源社区最常用之一;
  • Nectar / Infinity-Instruct:更大、更新的混合数据集;
  • Tulu 3 SFT mixture(Allen AI):训 Tulu-3 用的,来源和过滤过程都开源。

从这些开源数据集开始 + 加自己的领域数据是最经济的做法。别从零造。

8. 常见的错误做法​

只用一个来源的数据。全是 Alpaca 蒸馏的?全是自己造的?两者都容易过拟合到某种风格。多源混合是必须的。

没有 decontamination。你的评估集里的题目可能已经在 SFT 数据里了——数据泄漏,评估分数不可信。用 n-gram overlap 或者 embedding 相似度过滤一遍。

回答太长/太短。全是 100 token 的短答,模型就不会写长文;全是 2000 token 的长答,模型问它一个简单问题也会啰嗦一大堆。长度多样性必须有。

忽略 system prompt。SFT 数据里如果没有 system prompt 相关的样本,训出来的模型不会响应 system prompt——你上线时想加个"你是 XX 公司客服"根本没用。记得留 20-30% 数据带有各种 system prompt。

把 chain-of-thought 从回答里抹掉。CoT(思维链)是让模型有推理能力的核心,如果你的回答里都是"直接给答案",模型永远学不到推理过程。留 CoT,别嫌它啰嗦。

过滤太狠。把所有"不完美"回答都过掉,最后剩下一堆"模式化标准答案"。模型学到这个,什么问题都用同一种腔调答——听起来"正确"但没人味。

9. 一个实操流程​

如果你从零开始要做一份 SFT 数据集,一个粗略流程:

  1. 确定目标场景:什么用户、什么问题、什么风格;
  2. 收集种子:500-1000 条真实或类真实的 prompt(可以来自用户日志、模拟、benchmark);
  3. 扩充:用 Self-Instruct + Evol-Instruct 扩到 1-5 万条;
  4. 生成回答:用最强的模型(GPT-4 / Claude 3.5)生成;
  5. 过滤:LLM 打分 + 长度/格式检查,去掉底部 20-30%;
  6. 多样化:混入 10-20% 通用开源 SFT 数据(防止过窄);
  7. 多轮扩充:把单轮改成多轮(LLM 双 agent 生成后续轮次);
  8. 审阅:抽样人工检查;
  9. 训一个小 baseline:LoRA 快训一版,验证数据有效;
  10. 迭代:根据 baseline 表现的短板,专门补对应类型的数据。

整个流程可能花几周到几个月。这就是 SFT 数据工程的正常成本——不要低估。

10. 一句话总结​

指令数据是 SFT 的根本:

  • 来源:人工写、模型蒸馏、真实日志、规则合成、自动扩充,各有优劣,通常混用;
  • 质量:过滤 + 打分 + 人工审阅,10 万条精挑比 100 万条粗糙好;
  • 多样性:任务/长度/难度/风格都要多样,任何一维失衡都会训坏;
  • 陷阱:泄漏、系统提示缺失、模板化、CoT 被抹掉,是新手最容易踩的;
  • 成本:数据工程可能花的时间比训练本身多得多。这是正常的。

数据是这个方向里最"看功底"的部分。算法迭代很快、tricks 会过时,但**"怎么把数据造好"这种直觉能力,是一直有价值的**。